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摘 要 : 为 解决 基于 Docker 容器 的 应 用 跨 异 构 容 器 云 迁 移 的 问题 ,针对 主流 的 异 构 容 器 编排 引擎 的 编排 原理 进行 了 

研究 ， 同 时 也 研究 了 主流 容器 服务 提供 商 之 间 的 异 构 性 , 在 此 基础 上 提出 了 基于 Docker 容器 的 应 用 跨 异 构 容器 云 迁 

移 的 三 层 模 型 。 为 提高 基于 Docker 容器 的 应 用 跨 异 构 容器 云 迁 移 的 效率 ， 提 出 基于 镜像 预 同步 的 应 用 迁移 技术 。 实 

人 利用 三 层 模 型 能 成 功 实 现 应 用 跨 异 构 容器 云 的 迁移 ， 并 且 在 引入 镜像 预 同步 技术 前 后 ， 同 构 云 异 构 容 
器 编排 引擎 之 间 的 应 用 迁移 时 间 平 均 减 少 60.33%， 异 构 云 Kubernetes 集群 之 间 的 应 用 迁移 时 间 平 均 减 少 43.67%。 
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Study on migration of applications between Heterogeneous container clouds 


Yang Kaiqi, Zhao Yulong, Chen Lin 
(Institute of JiangeNan Computing Technology, Wuxi Jiangsu 214000, China) 


工 Abstract: In order to migrate Docker container based applications across heterogeneous container clouds, the author studied 
the principles of mainstream heterogeneous container orchestrating engines. Meanwhile, this paper conducted a survey on 
the heterogeneity of container service of different providers. The author proposed the Three-layered Model of Migrating 
Docker Container based Applications across Heterogeneous Container Clouds. Four the purpose of improving migration 
efficiency, this paper developed the Image Pre-Synchronization technology. Experimental results show that using the 
three-layered model can migrate Docker container based applications across container clouds successfully, and the 
technology of image pre-synchronization can help the time of migrating. For the situation of migrating Docker container 
based applications between heterogeneous container orchestrating engines in homogeneous clouds, the improvement is 
60.33% on average. And for the situation of migrating Docker container based applications between Kubernetes clusters in 
heterogeneous clouds, the improvement is 43.67% on average. 

Key words: docker containers; migration of applications; three-layered model; Heterogeneous container clouds 


前 对 多 数据 中 心 的 容器 管理 主要 是 以 云 联邦 (cloud 
federation ) 的 形式 进行 U31, 如 Kubernetes 集 群 联邦 、Hashicorp 

(ae 企业 总 是 运行 多 种 异 构 技 术 。 目 前 云 计 算 服 务 市 场 处 于 Nomad 和 Mesos 集群 联邦 等 。 虽然 它们 都 能 对 多 个 数据 中 心 
| a 百花 齐 放 、 百 家 争鸣 的 状态 ， 国 外 的 云 服务 提供 商 包括 亚 马 的 容器 进行 管理 ， 但 都 局 限于 同 构 容器 编排 引擎 ， 无 法 调 
CS 逊 、 微 软 、 谷 歌 等 ， 国 内 的 云 服务 提供 商 包括 阿里 、 华 为 、 异 构 容器 编排 引擎 之 间 的 资源 , 不 能 将 基于 Docker 容器 的 应 
美 团 等 。 为 了 充分 利用 就 近 计算 优势 ， 提 高 业务 应 用 的 全 域 “用 在 Kubernetes 和 


0 引言 


,二 


[3 


蔷 群 0 与 Docker Swarm 集群 Ui“ 之 间 调 度 。 

服务 能 力 以 及 避免 被 特定 的 云 计 算 服务 提供 商 锁定 ， 企 业 需 文献 [4] 中 提出 了 基于 日 志 重 放 的 容器 迁移 方法 ， 该 方法 的 迁 

要 将 自己 的 业务 应 用 部 署 到 多 个 地 域 、 多 个 云 计 算 服 务 提供 移 时 间 随 着 容器 运行 时 间 的 增加 而 增加 ， 然 而 企业 级 应 用 往 

商 的 数据 中 心 内 凹 。 但 是 在 跨 域 传输 数据 时 需要 付出 很 大 六 往 需要 长 时 间 运 行 ， 因 此 该 方法 存在 耗 时 长 的 问题 ， 而 且 该 

代价 :一 方面 ， 跨 域 数据 传输 不 仅 消耗 时 间 长 ， 而 且 消 耗 宝 方法 仅 适 用 于 同 构 的 容器 云 环境 ; 文献 [5,6] 中 利用 

贵 的 网 络 带宽 资源 ， 性 价 比 低 ; 另 一 方面 ， 安 全 规则 限制 下 Checkpoint-Restart 技术 来 进行 容器 应 用 迁移 ， 但 是 该 方法 需 

某 些 数据 不 允许 被 跨 域 传输 。 因 此 现在 学 术 界 和 工业 界 都 提 要 迁移 前 后 的 环境 中 文件 系统 一 致 ， 并 且 要 求 网 络 一 致 ， 无 
倡 在 异 构 容 器 云 之 间 进 行 应 用 的 迁移 。 法 适用 于 不 同 云 提 供 商 、 跨 地 域 的 多 数据 中 心 的 应 用 迁移 。 

然而 现 阶段 异 构 容器 云 间 的 应 用 迁移 仍然 存在 着 许多 挑 国外 主流 的 研究 Docker 容器 迁移 技术 团队 CRIUGI 也 是 利用 

战 : ) 对 于 复杂 应 用 来 说 ， 如 何在 迁移 过 程 中 保持 与 编排 引 了 与 CR 技术 类 似 的 思想 来 进行 容器 迁移 ;文献 [7] 中 提出 的 
擎 的 交互 ， 从 而 维持 应 用 在 迁移 前 后 的 健康 检查 机 制 、 节 点 应 用 迁移 三 层 模型 将 应 用 迁移 过 程 分 为 Base Layer、 


亲 和 性 等 编排 规则 的 一 致 性 ; b) 基 于 Docker 容器 的 应 用 如 何 ”Application Layer 和 Instance Layer 这 三 层 ， 该 方法 虽然 能 在 
抛 开 迁 移 前 后 的 存储 和 网 络 环境 能 满足 容器 应 用 运行 所 需 的 。 ”Base Layer 层 保证 迁移 前 后 文件 系统 一 致 性 ， 但 是 由 于 未 考 
条 件 ; c) 如 何 让 基于 Docker 容器 的 应 用 总 迁移 时 间 更 短 ; d) 虑 到 异 构 容器 云 之 间 的 异 构 性 ， 无 法 实现 迁移 前 后 对 应 用 的 
频繁 的 迁移 操作 会 导致 数据 中 心 的 能 耗 快速 增加 ， 以 及 占用 接管 。 因 此 文献 [4~7] 中 提出 的 方法 同样 都 无 法 解决 基于 
网 络 带 宽 ， 对 数据 中 心 的 日 常 使 用 带 来 影响 。 Docker 容器 的 应 用 在 异 构 容器 云 之 间 的 迁移 。 
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本 文 提出 基于 Docker 容器 的 应 
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j 跨 异 构 容 器 云 迁 移 三 


层 模型 TMHCC， 该 模型 能 同时 适用 于 同 构 云 异 构 容器 编排 
引擎 和 异 构 云 中 Kubernetes 集群 的 情况 。 通 过 镜像 预 同步 技 


术 的 引入 ， 能 


1 


1.1 


基于 Docker 
层 模型 TMHCC 


异 构 容器 云 定义 


PR 口 吕 . 


合 梧 


效 提高 应 用 迁移 的 效率 。 
的 应 用 跨 异 构 容 器 云 迁移 三 


异 构 容器 云 分 为 同 构 云 异 构 容 器 编排 引擎 和 异 构 云 同 构 


容器 编排 引擎 两 种 


情形 。 


前 者 是 指 云 平台 本 身 的 是 同 构 的 ， 


但 是 容器 服务 使 


擎 。 若 


使 用 相同 类 型 


了 不 同 的 容器 编排 引擎 。 而 后 者 则 是 指 虽 
然 云 平台 本 身 是 异 构 的 ， 但 是 使 用 


的 都 是 同一 种 容器 编排 引 


个 数据 中 心 都 使 用 的 是 阿里 云 的 容器 服务 ， 两 者 都 
的 存储 和 网 络 ， 但 是 一 个 数据 中 心 使 用 的 是 


Kubernetes 容器 编排 引擎 ， 而 另 一 个 数据 中 心 使 
Docker Swarm 容器 编排 引擎 ,这 种 4 


的 是 
青 形 就 是 同 构 云 异 构 容 器 


一 > 


编排 引擎 。 若 两 个 数据 中 心 一 个 使 用 的 是 阿里 云 的 容器 服务 ， 


而 另 一 个 数据 中 心 


使 用 的 是 华为 云 的 容器 服务 ， 两 家 容器 服 


务 在 网 络 和 存储 方 


都 是 Kubernetes 容器 编排 引擎 ， 这 种 情 


器 编排 引擎 。 


折 存 在 着 异 构 性 


个 数据 中 心 用 的 


， 但 是 


i 是 异 构 云 同 构 容 


pt 
芭 兄 


1.2 三 层 模型 
基于 Docker 容器 的 应 用 跨 异 构 容器 云 迁移 三 层 模 型 如 
1 所 示 。 该 模型 将 应 用 在 进行 跨 容器 云 迁 移 时 分 成 镜像 层 、 
编排 层 和 应 用 层 这 三 个 层次 。 
信息 2| “于 本 
应 用 层 应 有 
镜像 \ -1 
文件 
站 编排 信息 同步 >| 编排 
信息 2 
全 全 有 本 人 由 上 == 二 
镜像 仓库 1 
源 数据 中 心 目的 数据 中 心 
图 1 基于 Docker 容器 的 应 用 跨 异 构 容器 云 迁 移 三 层 
Fig.1 Three-layered model of migrating Docker container based 


applications across heterogeneous container clouds 


1.2.1 TMHCC 镜像 层 


在 Docker 中 ,容器 镜像 是 容器 的 基础 站 。 因 此 在 将 基于 


Docker 容器 的 应 用 进行 迁移 时 , 确保 迁移 前 后 的 源 数据 中 心 


和 目的 数据 中 心 之 中 含有 该 应 | 


基于 Docker 容器 


数据 中 心 和 目的 数据 
以 及 各 云 提供 商 ( 丸 


Docker、 Kubernetes 


源 数据 中 心 和 目的 数据 中 心 的 容器 镜像 格式 都 相同 。 在 进行 


镜像 同步 时 无 须 对 镜像 格式 进行 转换 。 
1.2.2 TMHCC 编排 转换 技术 
容器 的 应 | 


基于 Docker 
据 源 数据 中 心 和 
应 用 的 编排 模板 包 


用 于 多 容器 应 用 的 部 署 及 管理 。 


的 数 提 


j 跨 云 迁 移 三 层 模型 在 编排 层 根 
居中 心 的 特性 进行 编排 模板 的 同步 。 


容器 服务 的 定义 及 其 相互 关联 ， 可 


Docker Swarm 支持 Docker 


所 依赖 的 镜像 文件 至 关 重 要 。 
的 应 用 跨 云 迁移 三 层 模 型 在 镜像 层 同步 源 
P 心 的 镜像 仓库 。 
0 华为 和 阿里 ) 等 都 遵循 OCI 规范 ， 因 此 
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Compose 模板 规范 ,可 以 用 Compose 文 件 来 编排 和 部 署 应 用 。 
Kubernetes 集群 支持 以 YAML 文件 或 者 JSON 文件 的 格式 来 
编排 和 部 署 应 用 的 各 种 资源 对 象 ， 也 支持 通过 Helm 来 简化 
应 用 的 部 署 。 对 于 应 用 在 同 构 云 异 构 容器 编排 引擎 之 间 迁 移 
的 情形 ， 编 排 层 通过 SwarmNetes 来 同步 编排 模板 ;对 于 应 
用 在 异 构 云 Kubernetes 集群 之 间 迁 移 的 情形 ， 编 排 层 通过 
HelmConvert 来 同步 编排 信息 Chart 模板 。 

对 于 同 构 容 器 云 中 的 Docker Swarm 集群 和 Kubernetes 
集群 之 间 的 应 用 迁移 ， 通 过 设计 和 研发 SwarmNetes 来 实现 
编排 信息 同步 。SwarmNetes 架构 如 图 2 所 示 。SwarmNetes 
能 将 v1、v2 和 v3 版 本 的 Docker Compose 编排 文件 与 
Kubernetes 的 ConfigMap 、Service、ReplicationController、 


DaemonSet、Deployment、Pod 和 PersistentVolumeClaim 这 6 
中 资源 对 象 进行 相互 转换 。 


输出 Docker Swarm 编 排 文件 
转换 Swarm 对 象 
中 间 表 示 层 SwarmNetes 对 象 
六 
Kubernetes 对 象 
输入 Kubernetes 编 排 文 件 | 
大 
图 2 SwarmNetes 架构 
Fig.2 Architecture of Swarmnetes 
虚线 所 示 方 向 为 应 用 从 Kubernetes 集群 向 Docker Swarm 


集群 迁移 时 编排 文件 转换 过 程 ，SwarmNetes 从 输入 的 
Kubernetes 编排 信息 文件 中 提取 应 用 信息 ， 并 保存 在 中 间 表 
示 层 SwarmNetes 对 象 中 , 通过 转换 将 SwarmNetes 对 象 转换 
为 Docker Swarm 集群 可 以 识别 的 Swarm 对 象 ， 最 后 根据 
Swarm 对 象 输出 Docker Swarm 集群 的 编排 文件 ， 实 线 所 示 
方向 为 应 用 从 Docker Swarm 集群 向 Kubernetes 集群 迁移 时 
编排 文件 转换 过 程 ，SwarmNetes 从 输入 的 Docker Swarm 编 
排 信 息 文 件 中 提取 应 用 信息 ， 保存 在 中 间 表 示 层 
SwarmNetes 对 象 中 ， 通 过 转换 将 SwarmNetes 对 象 转换 成 
Kubernetes 可 以 识别 的 Kubernetes 对 象 ,最 后 根据 Kubernetes 
对 象 输出 Kubernetes 集群 的 编排 文件 .SwarmNetes 实现 编排 
言 息 转 换算 法 如 算法 1 所 示 。 
算法 1 SwarmNetes 编排 信息 转换 算法 
. SwarmNetesObject=LoadFile(InputFiles); 


.if Provider == Kubernetes then 

. SwarmObject=kubernetes.Transform(SwarmNetesObject) 
. SwarmFile=Kubernetes.Output(SwarmObject) 

. else 


. KubernetesObject=swarm.Transform(SarmNetesObject) 


~ a uu Pw DPD Pp 


. KubernetesFile=Swarm.Output(KubernetesObject) 
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将 华为 云 EVS 和 阿 是 


录用 定稿 
8. end if 
于 异 构 云 存储 和 网 络 方面 存在 的 异 构 性 ， 使 得 基于 
Docker 容器 的 应 用 在 异 构 云 的 Kubernetes 集群 之 间 迁 移 时 存 
在 无 形 的 障碍 , 即 若 一 个 基于 Dokcer 容器 的 应 用 使 用 了 某 个 
云 服务 提供 商 特定 的 存储 或 者 网 络 ， 迁 移 到 基于 另 一 个 云 服 
务 提 供 商 的 数据 中 心 时 ， 该 应 用 无 法 成 功 启动 ， 目 的 数据 中 


心 无 法 识别 应 用 中 存储 和 网 络 的 类 型 。 对 于 异 构 容器 云 
Kubernetes 集群 之 间 的 应 用 迁移 ， 本 文通 过 设计 和 研发 
HelmConvert 将 源 数据 中 心 应 用 的 Chart 模板 转换 为 适用 于 
目的 数据 中 心 的 Char 模板 。 

HelmConvert 的 架构 如 图 3 所 示 。 输 入 层 读 取 一 个 应 用 的 
Chart 模板 ， 并 对 读 取 后 的 内 容 进 行 相应 的 处 理 ， 如 将 Chart 
模板 中 values.yaml 文件 中 定义 的 各 项 配置 泻 染 到 templates 
文件 夹 中 定义 的 各 种 资源 对 象 等 。 识 别 层 对 输入 层 的 结果 进 
行 识别 ， 该 层 主要 根据 用 户 提供 的 云 服 务 提 供 商 类 别 ， 如 
“Huawei” 或 者 “Ali”， 分 别 表 示 华 为 容器 服务 提供 商 以 及 
阿里 容器 服务 提供 商 ， 以 及 各 云 服务 提供 商 容器 服务 的 特性 
来 识别 输入 的 Chart 模板 使 用 了 何 种 类 型 的 存储 和 网 络 。 在 


转换 。 


容器 服务 为 满足 多 种 复杂 场景 下 基于 Docker 容器 的 
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里 云 NAS 互相 转换 以 及 华为 云 OBS 和 阿 昌 


云云 盘 互 相 转换 、 华 为 云 文 件 存储 和 阿 
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有 E 云 对 象 存 储 互相 


用 间 的 互相 访问 ， 提 供 了 不 同 


景 提供 不 同 的 访 | 


a 
呈 


的 访问 方式 ， 


通道 .这 些 网 络 访问 可 以 分 为 集 条 


SR 


从 而 满足 不 同 ] 
内 访问 、 


VPC 内 访问 、 四 层 负载 均衡 和 七 层 负载 均衡 这 四 种 访问 方式 。 


循 原 生 


用 的 编排 信息 文 


在 研究 中 发 现 ， 对 
Kubernetes 标准 
用 集群 内 访问 方式 时 , 可 
对 于 其 他 三 种 访问 方式 HelmConvert 通过 特征 属性 识别 相应 
网 络 类 型 并 进行 转换 。 
1.2.3 TMHCC 应 用 层 
基于 Dokcer 容器 的 应 用 依赖 于 镜 
牛 。 源 数据 中 心 的 应 | 


于 集群 内 访 


集群 内 房 网 和 VPC 内 访问 属于 私 网 访问 ,后 两 者 为 公 网 访问 。 


以 


问 方式 ， 华 为 云 和 阿里 云 都 遵 
丸 此 当 基 于 Docker 容器 


的 应 用 使 


在 异 构 云 平 台 之 i 


司 进行 无 颖 迁移 。 


像 文件 以 及 对 这 个 应 


文件 的 同步 和 在 编排 层 对 编排 信息 的 同步 ， 


经 


备 该 应 用 的 


经 过 在 镜像 层 对 镜像 


目的 数据 中 心 已 


基本 要 素 。 


转换 层 ， 主 要 根据 本 文 给 出 的 异 构 存 储 和 网 络 转换 方法 进行 
相应 的 转换 ， 使 得 转换 后 的 Chart 模板 能 适用 于 目的 数据 中 
心 的 容器 服务 提供 商 。 最 后 在 输出 层 对 转换 后 的 Chart 模板 
进行 输出 。 


Chart 模 板 1 


识别 (Service/Ingress)1 


~ 


(PV/PVC)1 
( ) 


时 
转换 (Service/Ingress)2 pV/PVC)2 
~ _ 
输出 Chart 模 板 2 


图 3 HelmConvert 架构 
Fig.3 Architecture ofhelmconvert 

华为 云 容器 服务 支持 EVS (Elastic Volume Service, 云 便 
盘 )、 文 件 存储 和 OBS (Object Storage Service， 对 象 存储 服 
务 等 类 型 的 存储 ， 阿 里 云 容器 服务 支持 阿里 云云 盘 、NAS 
(Network Attached Storage, 阿里 云 文 件 存储 )、OSS (Object 
Storage Service， 阿 里 云 对 象 存储 ) 这 三 种 类 型 的 存储 。 虽然 
各 家 在 各 种 存储 实现 方式 上 存在 着 区 别 ， 但 是 华为 云 容 器 服 
务 和 阿里 云 容器 服务 都 支持 以 PV (持久 化 存储 卷 


和 镜像 文件 启动 该 应 月 


的 情况 ， 当 


stack deploy -compose-file=filename 可 以 创建 相应 的 应 用 。 
对 于 异 构 云 Kubernetes 身 
用 的 管理 ， 利 用 helm install 指令 即 可 创 


最 后 在 应 用 


层 根据 编排 信息 文件 


的 数据 中 心 为 Kubernetes 外 
create -f [file] 可 以 创建 相应 的 应 用 ; 当 


Docker Swarm 集群 是 ， 通 过 docker-compose 


群 的 情况 ， 通 


骨 即 可 。 对 于 同 构 云 异 构 容 器 编排 引擎 
长 群 时 ， 通 过 kubectl 


的 数据 中 心 为 


1.3 ”基于 镜像 预 同步 的 应 用 迁移 技术 


对 于 未 采 ) 


之 为 传统 方法 。 传 统 方法 如 图 


又 : 


a) 将 源 数 据 


镜像 预 同步 技术 进行 应 


up 或 者 docker 


过 Helm 来 简化 了 应 
建 应 用 。 


迁移 的 方法 本 文 称 


P 心 应 用 的 编排 信息 文件 1 


4 所 示 ， 需 要 进行 以 下 五 个 步 


转换 为 目的 数据 


中 心 能 识别 的 编 


目的 数据 中 心 。 


排 信 


b) 在 


镜像 仓库 2 


拉 取 应 上 


息 文件 2， 
在 该 步 中 ， 根 ] 
者 HelmConvert 进行 相应 的 转换 ; 
的 数据 中 心 根据 编排 信息 文件 2 
所 依赖 的 镜像 文件 ， 若 镜像 仓库 2 中 没 


有 该 应 用 所 依赖 的 镜像 文件 ， 则 进行 step3; 
有 该 应 用 所 依赖 的 镜像 文件 ， 则 进行 step4; 


到 镜像 仓库 2 中 ; 


d) 从 镜像 仓库 2 中 拉 取 应 ) 


c) 从 源 数据 


将 编排 信息 文件 2 同步 到 
局 不 同情 形 用 SwarmNetes 或 


创建 应 用 时 会 从 


若 镜 像 仓库 2 中 


P 心 的 镜像 仓库 1 同步 应 月 


所 需 的 镜像 文件 


所 需 的 镜像 文件 ; 


e@) 根 据 编排 信息 2 和 镜像 文件 创建 运行 并 运行 。 


传统 方法 实现 应 用 迁移 所 需 的 总 时 间 Ti 如 式 (1) 所 示 。 
五 T ocsyne + Th ageSync + Tpppun (1) 
T oesyne T occonvert te 7o- Rep Q) 


PersistentVolume ) 和 PVC (持久 化 存储 卷 声 明 
PersistentVolumeClaim ) 的 形式 来 提供 存储 资源 。Kubernetes 
提供 PV 和 PVC 这 两 个 API 资源 来 抽象 存储 的 细节 。 集 群 管 
理 员 只 需 关 注 如 何 通过 PV 提供 存储 功能 ， 而 无 须 关 注 用 户 
如 何 使 用 它 。 类 似 的 ,用 户 仅 需 将 PVC 挂 载 到 容器 中 ， 而 不 
需 关注 存储 卷 的 具体 技术 实现 。 存 储 的 异 构 性 对 用 户 是 透明 
的 。 PVC 和 PYV 的 关系 与 Pod 和 Node 的 关系 类 似 ， 前 者 消 
耗 后 者 的 资源 。 正 是 由 于 PV 和 PVC 对 存储 细节 的 抽象 ， 使 
得 异 构 存 储 之 间 相 互 转换 有 了 可 行 的 解决 方法 .HelmConvert 


情形 ， TOrcConvert 上 


时 间 ; 对 于 异 构 云 Kubernetes 集群 的 情 


F 同 构 云 异 构 容器 编排 引 警 的 


寺中 : 工 orcsynec 为 编排 信 息 同步 的 时 间 ? 是 TOrcConvert 和 ToOrcRep 
过 和 。Torconver 为 SwarmNetes 在 源 数据 中 心 将 编排 信息 1 
转换 为 编排 信息 2 的 时 间 。 对 了 


为 通过 SwarmNetes 进行 编排 信息 转换 的 


HelmConvert 进行 


息 2 从 源 数据 中 心 同步 到 


编排 信息 转换 的 时 间 。Torcrep 为 将 编排 信 


区 9 TOrcConvert 即 为 


的 数据 中 心 所 


为 镜像 仓库 1 和 镜像 仓库 2 进行 镜像 同步 的 时 间 ， 
目的 数据 中 心 通过 编排 信息 2 和 镜像 文 伯 


间 。 


| 的 时 间 o TimageSync 


创建 应 ) 


工 AppRun 


在 
所 用 的 时 
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~ /A SP 
二 一 z 当 3 _ 3 
ge = 
、 鲁 像 仓库 1 ， 镜像 库 2 < 
= / 仿 像 \ 
文件 
所 数据 中 必 


刘 


图 4 应 


迁移 传统 方法 


Fig.4 Traditional method ofmigrating applications 
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ChinaXiv 合 作 期 刊 
第 37 卷 第 4 期 


2 ”实验 与 分 析 


基于 镜像 预 同步 的 应 用 迁移 三 层 模型 是 在 基于 Docker 
容器 的 应 用 跨 异 构 容 器 云 迁移 三 层 模型 的 基础 之 上 引入 了 四 
于 镜像 预 同步 的 应 用 迁移 技术 。 本 文选 取 不 同 的 基于 Docker 
容器 的 应 用 来 进行 实验 ， 并 对 引入 镜像 预 同步 技术 前 后 的 实 
验 结 果 进 行 了 对 比分 析 。 
2.1 同 构 云 异 构 容器 编排 引擎 

为 验证 基于 镜像 预 同 步 的 应 用 迁移 三 层 模型 在 Docker 
Swarm 集群 和 Kubernetes 集群 之 间 〈 即 同 构 云 异 构 容器 编排 
引擎 之 间 ) 的 可 行 性 及 有 效 性 。 本 文选 取 Docker 容器 中 的 四 
个 典型 应 用 来 验证 基于 镜像 预 同步 的 应 用 迁移 三 层 模型 在 同 
构 云 异 构 容 器 编排 引擎 情形 下 的 可 行 性 和 有 效 性 。 这 个 四 个 


| DN 
ji& NX 作 ) 
AN /目的 数据 中 心 7 y ” 


图 5 基于 


Fig.S$ Technology of mi 


镜像 预 同步 的 应 


迁移 技术 


grating applications based on Image 


Pre-Synchronization 


基于 镜像 预 同步 的 应 


迁移 技术 在 源 数据 中 心 引 入 镜像 


预 同 步 (Image Pre-Synchronization， 模块 ，IPS 实时 监 


测 源 数 
立即 监测 目 


居中 心 新 建 镜像 的 操 


的 数据 中 心 的 镜像 仓库 2 中 


让 


操作 , 若 监测 到 有 新 建 的 镜像 文件 ， 


， 镜像 文件 


若 没 有 则 将 该 镜像 文件 同步 到 镜像 仓库 2 中 ， 如 图 5 所 示 。 


基于 镜像 预 同 步 的 应 


a) 在 源 数 据 中 新 实时 检测 新 镜像 文件 的 生成 ， 


用 迁移 技术 需要 进行 以 下 步骤 : 
若 发 现 新 


建立 的 镜像 文件 ， 立 即 同 步 到 
同步 PS 模块 负责 ; 


据 中 心 能 识别 的 编排 信息 文件 2， 


的 数据 中 心 ， 主 要 由 镜像 预 


b) 将 源 数 据 中 心 应 


的 编排 信息 文件 1 转换 为 目的 数 


将 编排 信息 文件 2 同步 


到 目的 数据 中 心 。 在 该 步 中 ， 根 据 不 同情 形 用 SwarmNetes 
或 者 HelmConvert 进行 相应 的 转换 ; 

ec) 在 目的 数据 中 心 根据 编排 信息 文件 2 创建 应 用 时 会 从 
镜像 仓库 2 拉 取 应 用 所 依赖 的 镜像 文件 ， 若 镜像 仓库 2 中 没 
有 该 应 用 所 依赖 的 镜像 文件 ， 则 进行 step4; 若 镜像 仓库 2 中 
有 该 应 用 所 依赖 的 镜像 文件 ， 则 进行 step5; 


到 镜像 仓库 2 中 ; 


时 


的 表达 式 可 以 看 出 基于 镜 


d) 从 源 数据 中 心 的 镜像 仓库 1 同步 应 用 所 需 的 镜像 文件 


e) 从 镜像 仓库 2 中 拉 取 应 ) 
f) 根 据 编 排 信息 2 和 镜像 文件 创建 并 运行 应 用 。 


所 需 的 镜像 文件 ; 


基于 镜像 预 同步 的 应 
目 T2 如 式 (3) 所 示 。 


72 =7. 


OrcSync 


迁移 技术 实现 应 用 迁移 需要 的 总 


十 了 


APPRun 


G3) 


应 用 迁移 时 镜像 同步 


阶段 占用 了 主要 之 


间 ， 从 Ti、T2 


像 预 同步 的 应 用 迁 


移 技术 大 大 缩短 


了 了 


基于 Docker 容器 的 应 


进行 跨 容 器 云 迁移 时 的 总 时 间 。 


应 用 分 别 为 : 

a)Counter。Counter 应 用 统计 访问 数据 库 的 次 数 ， 并 在 
Web 页 面 上 显示 。 该 应 用 依赖 redis:3.0 和 
tuna/docker-counter23:latest 这 两 个 镜像 ， 镜 像 文 件 大 小 分 别 
为 91.5MB 和 696.0MB。 

b)Wordpress。Wordpress 是 一 款 个 人 博客 系统 , 使 用 PHP 
和 MySQL 数据 库 开 发 。 该 应 用 依赖 wordpress:4.8-apache 和 
mysql:5.6 这 两 个 镜像 ， 镜 像 文件 大 小 分 别 为 408.0MB 和 
230.0MB 。 

c)Gitlab 。Gitlab 应 用 | 


于 仓库 管理 ， 使 用 Git 作为 代码 


管理 工具 ， 并 在 此 基础 上 搭建 web 服务 。 该 应 用 依赖 
redis:latest、postgresql:9.5 和 gitlab:8.13 这 三 个 镜像 ， 镜 像 文 


牛 大 小 分 别 为 133.0MB 、232.0MB 和 770MB 。 
d)Vote。Vote 负责 统计 对 和 Cat 这 两 个 对 象 的 投票 
结果 ， 并 在 web 页 面 上 显示 。 该 应 用 依赖 redis:alpha、 


postgres:9.4 、 i he ita 


docker/example-voting-app-vote 和 
tmadams333/example-voting-app-result 这 5 个 镜像 , 镜像 文件 
大 小 分 别 为 27.8 MB、263.0 MB、574.0 MB、83.5 MB 和 226.0 
MB 。 
2.1.1 实验 环境 

在 该 实验 中 , 实验 平台 选取 开源 的 Openstack, 划 
pike。 并 在 Openstack 中 分 别 建立 基于 Kubernetes 集群 的 
Docker 容器 环境 和 基于 Docker Swarm 的 Docker 容器 环境 。 
如 图 6 所 示 ，Kubernetes 集群 包括 Master 节点 (IP 地 址 为 
10.33.122.77)、 节 点 1 (IP 地 址 为 10.33.122.86) 和 节点 2 (IP 
地 址 为 10.33.122.81) 这 三 个 节点 ， 各 节点 配置 参数 如 表 1 
所 示 ; 同样 Docker Swarm 集群 也 包括 管理 节点 〈IP 地址 为 
10.33.35.35)， 节 点 1 〈 卫 地 址 为 10.33.35.34) 和 节点 2 (IP 
10.33.35.19) 这 三 个 节点 ， 各 节点 参数 配置 如 表 2 所 

。 各 个 节点 之 间 的 网 络 带宽 均 为 1000M。 


Kubemetes 集 群 f Docker Swarm 集群 
bg Lg 
kubernetes- 节 点 1 swarm- 节 点 1 
10 33 2 86 可 = 10.33.35.34 
镜像 仓库 1 一 一 镜像 仓库 2 
10.33.122.82 | SS 10.33.35.36 
ruberrfetes-Master 节 点 Swarm- 管 理 节点 AC 
E 10.33.122.77 10.33.35.35 ~ 性 
kubernetes- 节 点 2 0 swarm- 节 


10.33.122.81 10.33.35. 0 


图 6 Kubernetes 集群 和 Docker Swarm 集 条 


Fig.6 Kubernetes clusters and Docker Swarm clusters 
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录用 定稿 杨 凯 琪 ， 等 : 异 构 
表 1 Kubernetes 集群 节点 配置 
Table ] Configuration of nodes in Kubernetes clusters 
项 规格 说 明 
操作 系统 CentOS7.4 内 核 版 本 3.10 

虚拟 内 核 数 2 

内 存 4GB 
跟 磁 盘 100GB 
Docker 版 本 17.03.2-ce 


Kubernetes 版 本 V1.9.0 


容器 云 间 应 用 迁移 模型 研究 


表 2 Docker Swarm 集群 节点 配置 
Table 2 Configuration of nodes in Docker Swarm clusters 


项 规格 说 明 
操作 系统 CentOS7.3 ”内 核 版 本 3.10 
虚拟 内 核 数 4 
内 存 4GB 
跟 磁 盘 100GB 
Docker 版 本 17.03.2-ce 


2.1.2 实验 结果 

实验 中 分 别 用 传统 方法 和 基于 镜像 预 同步 的 三 层 模 型 将 
Counter、Wordpress、Gitlab 和 Vote 这 四 个 应 用 从 Kubernetes 
集群 迁移 到 Docker Swarm 集群 ， 迁 移 所 用 时 间 如 图 7 所 示 。 
传统 方法 迁移 所 用 时 间 分 别 为 121.71 s、117.46 s、193.25s 
和 185.10s, 而 利用 基于 镜像 预 同步 的 三 层 模型 进行 迁移 分 别 
只 需要 46.97 s、54.28 s、62.06 s 和 82.08 s。 
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从 图 7 和 8 的 实验 结果 之 中 可 以 看 出 基于 Docker 容器 的 
应 用 在 在 Docker Swarm 集群 和 Kubernetes 集群 之 间 迁 移 时 
镜像 同步 占用 了 大 部 分 时 间 ， 基 于 镜像 预 同步 的 三 层 模型 通 
过 镜像 预 同步 技术 在 很 大 程度 上 减少 了 应 用 在 Docker 
Swarm 集群 和 Kubernetes 集群 之 间 迁 移 的 时 间 ， 使 得 应 用 迁 
移 时 间 性 能 平均 提升 了 60.33%。 
2.2” 异 构 云 Kubernetes 集群 

为 验证 基于 镜像 预 同步 的 应 用 迁移 三 层 模 型 在 华为 云 容 
器 服务 的 Kubernetes 集群 和 阿里 云 容器 服务 的 Kubernetes 集 
群 之 间 ( 即 异 构 云 Kubernetes 集群 之 间 ) 的 可 行 性 和 有 效 性 。 
本 文选 取 Nginx 这 个 应 用 来 进行 验证 。Nginx 由 俄罗斯 的 程 
序 设计 师 Igor Sysoev 开发 ， 是 一 个 高 性 能 的 HTTP 服务 器 、 
反 向 代理 服务 器 以 及 电子 邮件 代理 服务 器 (IMAP/POP3 )。 
为 了 尽 可 能 涵盖 华为 云 容器 服务 和 阿里 云 容器 服务 之 间 异 构 
存储 和 异 构 网 络 的 所 有 情况 ， 本 文 将 Nginx 这 个 应 用 分 别 设 
计 为 使 用 不 同类 型 的 存储 和 网 络 。 应 用 Nginxl 在 华为 云 容器 
服务 中 使 用 的 存储 类 型 为 华为 云 EVS， 网 络 类 型 为 VPC 内 
访问 ， 在 阿里 云 容器 服务 中 使 用 的 存储 类 型 为 阿里 云云 盘 ， 
网 络 类 型 为 VPC 内 访问 ; 应 用 Nginx2 在 华为 容器 服务 中 使 
用 的 存储 类 型 为 华为 云 文件 存储 , 网 络 类 型 为 四 层 负 载 均衡 ， 
在 阿里 云 容器 服务 中 使 用 的 存储 类 型 为 阿里 云 NAS, 网 络 类 
型 为 四 层 负载 均衡 ;应 用 Nginx3 在 华为 云 容器 服务 中 使 用 的 
存储 类 型 为 华为 云 OBS， 网 络 类 型 为 七 层 负载 均衡 ， 在 阿里 


随后 ， 本 文 再 分 别 用 传统 方法 和 基于 镜像 预 同步 的 三 层 
模型 将 Counter、Wordpress、Gitlab 和 Vote 这 四 个 应 用 从 
Docker Swarm 进 群 迁移 到 Kubernetes 集群 之 中 , 迁移 所 用 时 
闻 如 图 8 所 示 。 传 统 方法 所 用 时 间 分 别 为 128.34 s、120.25 s、 
184.02 s 和 191.22 s, 而 利用 基于 镜像 预 同步 的 三 层 模型 进行 
迁移 分 别 只 需要 45.72 s、53.32 s、62.73 s 和 79.52 s。 
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图 7 应 用 从 Kubernetes 集群 迁移 到 Docker Swarm 集群 所 用 时 间 
Fig.7 Time of migrating applications from Kubernetes clusters to 


Docker Swarm clusters 


图 8 应 


从 Docker Swarm 集群 迁移 到 Kubernetes 集群 所 用 时 间 
Fig.8 Time of migrating applications from Docker Swarm clusters to 


Kubernetes clusters 


云 容器 服务 中 使 用 的 存储 类 型 为 阿里 云 OSS， 网 络 类 型 为 七 

层 负载 均衡 。Nginxl1、Nginx2 和 Nginx3 这 三 个 应 用 都 依赖 

nginx:latest 这 个 镜像 ， 该 镜像 大 小 为 109MB。 

2.2.1 实验 环境 
本 文 在 华为 云 容器 服务 和 阿里 云 容 器 服务 中 分 别 搭建 了 


y 
Kubernetes 集群 ， 如 图 9 所 示 。 
数据 中 心 1 华为 Kubernetes 集 群 数据 中 心 2- 阿 里 Kubernetes 集 群 
192.168.0.198 
192.168.0.200 
192.168.0.195 Workerl 
Workerl 
Miaster 1 
192.168.0.193 / 
< 
Masterl 192.168.0.196 \ 
镜像 仓库 1 镜像 仓库 2 
192.168.0.204 192.1680197 Master2 192.168.0.200， 


192.168.0.202 Master3 
Workerl 


192.168.0.200 
192.168.0.199 Worker3 
Worker2 


图 9 华为 容器 服务 Kubernetes 集群 和 
阿里 容器 服务 Kubernetes 集群 


Fig.9 Kubernetes clusters based on Huawei container service and 


Kubernetes clusters based on Ali container service 


数据 中 心 1 位 于 北京 ， 是 在 华为 容器 服务 中 搭建 的 
Kubernetes 集群 ， 其 包括 一 个 Master 节点 (IP 地 址 为 
192.168.0.193 ) 和 两 个 Worker 节点 (IP 地 址 分 别 为 
192.168.0.200 和 192.168.0.202)， 并 为 数据 中 心 1 搭建 了 私 
有 镜像 仓库 1， 其 IP 地 址 为 192.168.0.204。 数 据 中 心 2 位 于 
深圳 ， 是 在 阿里 容器 服务 中 搭建 的 Kubernetes 集群 ， 该 
Kubernetes 集群 拥有 过 3 个 Master 节点 (IP 地 址 分 别 为 
192.168.0.195、192.168.0.196 和 192.168.0.197) 和 3 个 Worker 
节点 (IP 地 址 分 别 为 192.168.0.198 、192.168.0.199 和 
192.168.0.200)， 并 为 数据 中 心 2 搭建 了 私有 镜像 仓库 2， 其 
IP 地 址 为 192.168.0.200。 数 据 中 心 1 和 数据 中 心 2 中 各 节点 
配置 参数 如 表 3 和 4 所 示 。 
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表 3 数据 中 心 1 各 节点 参数 配置 
Table3 Configuration of nodes in data center 1 
项 规格 说 明 
操作 系统 EulerOS 2.0 (SP2) 内核 版 本 3.10 
虚拟 内 核 数 4 
内 存 8GB 
磁盘 40GB (系统 盘 ) +100GB (数据 盘 ) 
Docker 版 本 17.06.0.10 
Kubernetes 版 本 V1.9.7 
所 在 区 域 华北 -北京 
表 4 数据 中 心 2 各 节点 参数 配置 
Table 4 Configuration of nodes in data center 2 
项 规格 说 明 
操作 系统 CentOS7.4 内核 版 本 3.10 
虚拟 内 核 数 4 
内 存 8GB 
磁盘 40GB《〈 系 统 盘 ) 
Docker 版 本 17.06.2-ce-3 
Kubernetes 版 本 v1.10.4 
所 在 区 域 华南 -深圳 


2.2.2 实验 结果 

在 验证 基于 镜像 预 同 步 的 三 层 模型 在 异 构 云 Kubernetes 
集群 之 间 的 适用 性 时 ， 本 文 分 别 用 传统 方法 和 基于 镜像 预 同 
步 的 三 层 模型 将 Nginx1、Nginx2、Nginx3 这 三 个 应 用 从 华为 
容器 服务 的 Kubernetes 集群 中 迁移 到 阿里 容器 服务 的 
Kubernetes 集群 之 中 ， 迁 移 所 用 时 间 如 图 10 所 示 。 在 用 传统 
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随后 ， 本 文 再 分 别 用 传统 方法 和 基于 镜像 预 同步 的 三 层 
模型 将 Nginx1、Nsginx2 和 Nginx3 这 三 个 应 用 从 阿里 容器 服 
务 的 Kubernetes 集群 中 迁移 到 华为 容器 服务 的 Kubernetes 集 
群 之 中 , 迁移 所 用 时 间 如 图 11 所 示 。 在 用 传统 方法 进行 迁移 
时 ，Nsginxl、Nsginx2 和 Nginx3 这 三 个 应 用 迁移 所 用 时 间 分 
别 为 41.33 s、33.81s 和 37.91 s。 而 当 用 基于 镜像 预 同步 的 应 
用 迁移 三 层 模 型 进行 迁移 时 ，Nginx1、Nginx2 和 Nginx3 这 
三 个 应 用 迁移 所 用 的 时 间 分 别 只 需要 25.68s、22.71s 和 
21.68 s。 

从 图 10 和 11 中 的 实验 结果 之 中 可 以 看 出 ， 基 于 Docker 
容器 的 应 用 在 华为 容器 服务 的 Kubernetes 集群 和 阿里 容器 服 
务 的 Kubernetes 集群 之 间 迁 移 时 ， 与 基于 Docker 容器 的 应 
用 在 Docker Swarm 集群 和 Kubernetes 集群 之 间 迁 移 时 一 样 ， 
镜像 同步 阶段 占用 了 应 用 迁移 的 大 部 分 时 间 。 基 于 镜像 预 同 
步 的 三 层 模 型 通过 镜像 预 同步 技术 在 很 大 程度 上 减少 了 应 
在 华为 容器 服务 的 Kubernetes 集群 和 阿里 容器 服务 日 
Kubernetes 集群 之 间 迁 移 的 时 间 ， 使 得 应 用 迁移 时 间 性 能 平 
均 提 升 了 43.67%。 
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为 满足 将 基于 Docker 容器 的 应 用 在 异 构 容器 云 之 间 迁 
oo 本 文 提 出 了 基于 Docker 容器 的 应 用 跨 异 构 容 器 云 
三 层 模型 。 并 在 编排 层 设 计 和 研发 了 SwarmNetes 来 屏 
0 间 的 异 构 性 , 使 得 基于 Docker 容器 的 
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方法 进行 迁移 时 ，Nginx1、Nginx2 和 Nginx3 这 三 个 应 用 迁 
移 所 用 时 间 分 别 为 28.16s、24.13s 和 25.96s。 而 当 用 基于 镜 
像 预 同步 的 应 用 三 层 模型 进行 迁移 时 ，Nginxl、Nginx2 和 
Nginx3 这 三 个 应 用 迁移 所 用 的 时 间 分 别 只 需要 13.72s、 
12.76s 和 12.95s。 


图 10 ”应 用 从 华为 Kubernetes 集群 迁移 到 
阿里 Kubernetes 集群 所 用 时 间 


Fig. 10 Time of migrating applications from Kubernetes clusters based 


on Huawei to Kubernetes clusters based on Ali 


图 11 应 用 从 阿里 Kubernetes 集群 迁移 到 
华为 Kubernetes 集群 所 用 时 间 


Time of migrating applications from Kubernetes clusters based 


Fig. 11 


on Ali to Kubernetes clusters based on Huawel 


应 用 在 同 构 云 异 构 容器 编排 引擎 之 间 的 迁移 成 为 可 能 ， 同 时 
也 在 编排 层 设计 和 研发 了 HelmConvert 来 屏蔽 不 同 提 供 商 的 
容器 服务 之 间 的 异 构 性 , 使 得 基于 Docker 容器 的 应 用 在 异 构 
云 Kubernetes 集群 之 间 的 迁移 成 为 可 能 。 并 在 三 层 模型 的 基 
础 上 ， 本 文 提出 了 基于 镜像 预 同步 的 应 用 迁移 技术 来 优化 基 
于 Docker 容器 的 应 用 跨 异 构 容器 云 迁 移 的 时 间 效 率 。 下 一 步 
的 工作 应 该 将 研究 如 何 减 少 三 层 模型 带 来 的 网 络 带 宽 消耗 ， 
确保 数据 中 心 之 间 网 络 传输 频繁 时 不 会 给 用 户 正常 工作 带 来 
影响 。Docker 容器 技术 也 在 处 在 不 断 发 展 和 更 新 的 进程 中 ， 
各 种 容器 编排 引擎 和 各 云 提供 商 的 容器 服务 也 在 不 断 完善 ， 
力求 充分 发 挥 容器 的 优势 ， 现 阶段 的 研究 无 法 宫 括 未 来 未 知 
的 各 种 情况 ， 今 后 还 需要 继续 关注 Docker 容器 技术 的 发 展 ， 
针对 Docker 容器 技术 的 新 特性 进行 完善 。 
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